ในปี พ.ศ. 2529 ขณะนายจิรายุ ดำรงตำแหน่งเป็น รัฐมนตรีว่าการกระทรวงอุตสาหกรรม ในรัฐบาล พล.อ.เปรม ติณสูลานนท์ (ครม.คณะที่ 43) มีการตั้งโรงงานถลุงแร่แทนทาลัมขึ้น ที่ตำบลรัษฎา อำเภอเมือง จังหวัดภูเก็ต เกิดกระแสการต่อต้านโรงงานแทนทาลัมโดยเชื่อว่าจะก่อให้เกิดมลภาวะร้ายแรง กระแสต่อต้านลุกลามจนทำให้เกิดการชุมนุมประท้วง

นายจิรายุ ในฐานะรัฐมนตรีว่าการกระทรวงอุตสาหกรรม ได้เดินทางไปจังหวัดภูเก็ตเพื่อรับฟังความคิดเห็นของประชาชน แต่ได้เกิดเหตุจลาจลขึ้นโดยเจ้าหน้าที่ไม่สามารถควบคุมสถานการณ์ เมื่อวันที่ 23 มิถุนายน พ.ศ. 2529 มีการเผาทำลายโรงงานแทนทาลัม และลุกลามไปถึงโรงแรมภูเก็ตเมอร์ลินที่ตั้งอยู่ในเมืองและไม่ได้มีส่วนเกี่ยวข้อง ถูกเผาทำลายเสียหายเกือบ 30 ล้านบาทจนต้องหยุดกิจการ 3 เดือน เนื่องจากมีข่าวลือว่า ดร.จิรายุซึ่งถือเป็นตัวแทนรัฐบาลที่สนับสนุนโรงงานแทนทาลัม มาพำนักอยู่ที่โรงแรมภูเก็ตเมอร์ลิน